메뉴

#초고속 추론

HN
Hacker News • 2일 전
IMP 6

Mercury 2.5 LLM, 초당 770 토큰 속도 달성

Inception이 출시한 독점 모델 Mercury 2.5가 초당 770 토큰의 출력 속도로 동급 모델 중 2위를 기록했습니다. 지능 지수는 12점으로 평균(중앙값 13)보다 다소 낮지만, 비슷한 가격대 모델과 비교하면 가격 대비 효율이 좋고 간결한 답변을 생성합니다. 26만 토큰의 컨텍스트 윈도우와 추론(reasoning) 기능을 지원합니다.

Mercury 2.5 Inception LLM 추론 모델
HN
Hacker News • 109일 전
IMP 8

샤오미, 1T 모델 1000TPS 달성 'MiMo-V2.5-Pro-UltraSpeed' 공개

샤오미와 TileRT는 1조(1T) 파라미터를 갖춘 대규모 언어 모델에서 초당 1,000토큰(1000 TPS)이라는 전례 없는 디코딩 속도를 달성한 'MiMo-V2.5-Pro-UltraSpeed'를 공개했습니다. 단순한 속도 향상을 넘어, AI가 실시간으로 의사결정에 개입하고 스스로 검증 및 교정하는 등 산업 패러다임을 근본적으로 전환시키는 의미를 지닙니다. 오는 6월 9일부터 23일까지 제한된 기업 및 개발자 대상으로 API 및 채팅 체험이 무료로 제공됩니다.

대규모 언어 모델 초고속 추론 샤오미 MiMo